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Menetelma ja laite tiedonsiirtoon 

Forfarande och anordning for overforing av information 



5 Esilla oleva keksinto liittyy laitteisiin, joihin on liitetty kamera. Erityisesti muttei 
valttamatta. keksinto liittyy matkaviestimen nayton ja siihen liitetyn 
kameramodulin valiseen tiedonsiirtoon. 

Tekniikan tausta 

10 

Digitaalikameroissa ja digitaalivideokameroissa on optisen kuvan muuntaminen 
sahkoiseen muotoon toteutettu kuvasensorilla (image sensor), jollaisena on 
tyypillisesti kaytetty valoherkkaa puolijohde-elementtia (Charge Coupled Device, 
CCD tai Complementary Metal Oxide Semiconductor, CMOS). Mainittu elementti 

15 on pienista ja saannollisista valo- ja variherkista kuvaelementeista eli pikseleista 
(picture element, pixel) muodostuva levy, jota kutsutaan ilmaisinmatriisiksi. 
Matriisin erottelutarkkuus vaihtelee sen fyysisen koon ja matriisin 
hienojakoisuuden perusteella. Tyypillisesti kuvasensori kasittaa satojatuhansia 
pikseleita, esimerkiksi VGA-resoluutiossa (video graphics array) kaytetaan 640 x 

20 480 = 307 200 pikselia. Kehittyneen CMOS-tekniikan hyodyntamien 
kuvasensorien valmistuksessa on mahdollistanut digitaali- ja 
analogiaelektroniikan integroimisen kuvasensorin kanssa samalle puolijohde- 
elementille. Kameramodulin pienentynyt koko ja paino on mahdollistanut sen 
integroimisen yha pienempiin elektronisiin laitteisiin. kuten esimerkiksi 

25 kannettavaan tietokoneeseen tai matkaviestimeen. 

Tunnetun tekniikan mukainen kameramoduli on rakenteeltaan kuviossa 1 esitetyn 
kaltainen. Ratkaisussa kaikki toiminnalliset lohkot ja kuvankasittelyyn liittyvat 
operaatiot on integroitu kameramoduliin 10. Moduli kasittaa yhden tai useamman 
30 optisen linssin 12, valoherkan CMOS-sensorielementin 13, ohjausyksikon 14 
CMOS-sensorielementin saatamiseksi, ohjelmoitavan analogisen vahvistimen 15 
(Programmable Gain Amplifier, PGA). AD-muuntimella 16 analoginen 
kuvasignaali muutetaan digitaaliseen muotoon, jonka jalkeen sita voidaan 
kasitella (viite 17) erilaisin kuvankasittelyyn liittyvin toiminnoin esimerkiksi 
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saatamalla vari- ja/tai valkotasapainoa. Liityntojen 18 ja 19 kautta kuvasignaali 
siirretaan esimerkiksi tallennettavaksi elektronisen laitteen 11 muistiin 21 tai 
naytettavaksi laitteen naytolla 22. TIedonsiirtoa kayttoliittyman 10, muistin 21 ja 
nayton 22 valilla vo ohjata esimerkiksi prosessori 20. 

5 

Edella kuvatun tyyppinen taysin integroitu ratkaisu soveltuu kaytettavaksi 
sellaisissa laitteissa, joihin on integroitu kameramoduli, ja joissa ei ole riittavasti 
prosessointitehoa kuvankasitteiyoperaatioille. Koska jokainen 

kuvankasittelytoimlnto lisaa piipinta-alaa kameramodulissa ja sita kautta 
10 kameramodulin ja laitteiston hintaa, fyysista kokoa ja painoa, on edullista jakaa 
kuvankasittelyyn liittyvia toiminnallisia lohkoja elektronisen laitteen ja siihen 
integroidun kameramodulin kesken. 

Tunnetun tekniikan mukainen toimintojen jakaminen kameramodulin ja 

15 elektronisen laitteen kesken on esitetty kuviossa 2a, jossa elektronisen laitteen 
202 ja siihen integroidun kameramodulin 201 valilla on yksisuuntainen 
rinnakkaisliitynta 209, 211, joka voi kasittaa esimerkiksi 8 bittia datalle seka 
lisaksi yhden bitin jokaiselle seuraavista: kelloslgnaalille, lahetettavan 
tietokehyksen synkronolnnille ja kuvan muodostavan pikselirivin synkronoinnille. 

20 Kuvatieto muodostetaan kameramodulissa kuvasensorin 204 lukujakson (sensor 
read-out period) aikana ja siirretaan mainittua rinnakkaisliityntaa (viltteet 209, 
211) pitkin eiektroniseen laitteeseen, jossa vastaanotetusta kuvatiedosta 
lasketaan tilastollinen tieto, joka siirretaan llC-vaylan (Inter Integrated Circuit) 
(viitteet 210, 212) kautta kameramodulin rekisteriin 217, jonka avulla ohjataan 

25 kameramodulissa sijaitsevia toiminnallisia lohkoja, kuten kuvasensorin 204 
ohjainta 207 ja kuvasignaalin vahvistusta 205. AD-muunnettu (viite 208) kuvatieto 
lahetetaan eiektroniseen laitteeseen 202, jossa kuvatieto kasitellaan, siita 
lasketaan tilastollinen tieto ja siirretaan kuvaksi (viitteet 213-215) esimerkiksi 
laitteen naytolle 216 tai talletetaan laitteen muistiin 214. Tilastollisen tiedon 

30 siirtamiseksi elektronisesta laltteesta kameramoduiiin on kaytetty erillista 
(esimerkiksi IIC tai RS232) vaylaa (viitteet 210, 212), jota kautta 
kameramodulissa oleviin rekisterelhin on oilut paasy kuvankasittely operaatioiden 
sucrittamiseksi. Kuvan muokkaamiseen tarvittava tieto saadaan elektronisessa 
laitteessa kuvatiedosta lasketusta tilastollisesta tiedosta. Tarpeellista tietoa 
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noudetaan myos llC-vaylan kautta kameramodulin rekisterista 217, ja lopullinen 
laskenta kuvanmuokkausparametrin arvoksi suoritetaan elektronisen laitteen 
suorittimella 213. Laskennan tuloksena syntynyt parametri lahetetaan 
kontrollivaylaa (210, 212) pitkin kameramodulin rekisteriin 217 esimerkiksi 
5 kuvasensorin ohjaimen 207 kaytettavaksi tai toiminnallisten lohkojen, kuten 
ohjelmoitavan vahvistimen (viite 205) ohjaamiseksi. Edella kuvatun tyyppinen 
kontrollidatavayla ei kuitenkaan ole kovinkaan nopea, tyypillisesti llC-vaylan 
nopeus on noin 100 kbps. Vaylan hitaus tulee esille havaittavana viiveena kuvan 
stabiloitumisessa esimerkiksi silloin kun digitaalivideokameralla kuvataan ensin 

10 valoisissa kuvausolosuhteissa ja siirrytaan pimeampiin olosuhteisiin tai 
toimittaessa painvastoin. Tilastollisen tiedon hyodyntamiseksi kuvankasittelyssa 
taytyy kameramodulin ja elektronisen laitteen valilla siirtaa suuri maara tietoa heti 
sen jalkeen kun kuvatieto on siirretty kameramodulista elektroniseen laitteeseen 
kasiteltavaksi. Viive aiheutuu kuvion 2b mukaisesti seuraavasti; kun kuvan 1 

15 (Image 1) kuvatieto on muodostettu kameramodulissa, se siirretaan elektroniseen 
laitteeseen lopullista kuvan kaslttelya varten, jota varten kuvan 1 tilastollinen tieto 
SD1 lasketaan vastaanotetusta kuvatiedosta ja tieto SD1 lahetetaan llC-vaylaa 
pitkin kameramodulin rekisteriin 217. llC-vaylan pienen tiedonsiirtonopeuden 
takia tilastollinen tieto kuvasta 1 saadaan kokonaisuudessaan siirretyksi 

20 kameramodulille llC-vaylan kautta; vasta sitten kun kuvan 2 (Image 2) kuvatietoa 
ollaan jo siirtamassa laitteelle. Seurauksena on, etta kuvan 1 tilastollista tietoa 
voidaan kayttaa vasta kuvan 3 kasittelemiseen, eika kuvan 2 kuten olisi edullista. 
Mainittu viive on sita korostetummin havaittavissa, mita nopeammin valoisuuden 
muutos kuvasensorin pinnalla tapahtuu. 

25 

Keksinnon yhteenveto 

Nyt on keksitty menetelma ja laite kaytettavaksi tiedonsiirrossa elektronisen 
laitteen (host device) ja siihen liitetyn kameramodulin valilla. Keksinnon 
30 mukaisessa menetelmassa kasittelemattomasta kuvatiedosta keratty tilastollinen 
tieto ja mainittu kuvatieto lahetetaan kameramodulista elektroniseen laitteeseen 
lomittain samaa tiedonsiirtovaylaa pitkin olennaisesti samanaikaisesti samassa 
tietokehyksessa siten, etta kuvatietoon kuuluvat bitit ja tilastolliseen tietoon 
kuuluvat bitit on erotettu toisistaan erityisia synkronointikoodeja kayttaen. 



4 

Kuvatieto ja tilastollinen tieto on helposti ja nopeasti siirrettavissa elektronisen 
laitteen kayttoon sarjamuotoisena differentiaalisignaalina erityista CCP-vaylaa 
(Compact Camera Port) pitkin. Vastaanotettu kuvatieto kasitellaan elektronisessa 
laitteessa mainitusta kuvatiedosta keratyn vastaanotetun tilastollisen tiedon 
5 perusteella edullisesti ilman viivetta. Kuvatiedon kasittelyyn tarvittavat valineet 
voivat olla joko tietokoneohjelmina elektronisen laitteen tai kameramodulin 
muistissa tai toiminnot toteuttavina elektronisina komponentteina. Tekniikan tason 
mukaiseen ratkaisuun verrattuna keksinnon mukainen toteutus on 
viiveettomyytensa ansiosta nopeampi, sen valmistuskustannukset ovat 
10 pienemmat, koska siirtolinjoja ja liittimia on vahemman. Lisaksi kameramodulin 
suunnittelu on yksinkertaisemman tiedonsiirtovaylan ansiosta helpompaa ja 
elektronisen laitteen ohjelmisto voi olla vahemman aikariippuvainen. 

Keksinnon eraan ensimmaisen aspektin mukaan on toteutettu menetelma tiedon 
15 siirtoon kameramodulin ja elektronisen laitteen valilla, joka menetelma kasittaa 
vaiheet, joissa muodostetaan kuvatietoa kameramodulin kuvasensorissa, 
kerataan tilastollinen tieto mainitusta kuvatiedosta, tunnettu siita, etta 
menetelmassa lisaksi; siirretaan mainittu kuvatieto ja mainittu tilastollinen tieto 
kameramodulista elektroniseen laitteeseen yhteista tiedonsiirtovaylaa pitkin, 
20 muodostetaan kuvankasittelyyn liittyvan ainakin yhden parametrin ainakin yksi 
arvo mainitun siirretyn tilastollisen tiedon perusteella, kasitellaan mainittua 
kuvatietoa mainitun ainakin yhden parametrin ainakin yhden arvon perusteella, 
muodostetaan kuva mainitusta kasitellysta kuvatiedosta. 

25 Keksinnon eraan toisen aspektin mukaan on toteutettu elektroninen laite, johon 
laitteeseen on integroitu kameramoduli, kasittaen valineet kuvatiedon 
muodostamiseksi, tunnettu siita, etta laite kasittaa lisaksi valineet tilastollisen 
tiedon keraamiseksi mainitusta kuvatiedosta, valineet kuvatiedon ja tilastollisen 
tiedon siirlamiseksi kameramodulista elektroniseen laitteeseen yhteista 

30 tiedonsiirtovaylaa pitkin, valineet ainakin yhden kuvankasittelyparametrin ainakin 
yhden arvon muodostamiseksi mainitusta siirretysta tilastollisesta tiedosta, 
valineet mainitun kuvatiedon kasittelemiseksi mainitun ainakin yhden 
kuvankasittelyparametrin ainakin yhden arvon perusteella, valineet kuvan 
muodostamiseksi kasitellysta kuvatiedosta. 
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Tekniikan tasoa selostettiin viittaamalla kuvioihin 1, 2a ja 2b. Keksintoa 
selostetaan seuraavassa yksityiskohtaisesti viittaamalla kuvioihin 3-5, joissa 

5 kuviossa 1 on esitetty tekniikan tason mukainen jarjestelma tiedon siirtamiseksi 
elektronisen laitteen ja siihen liitetyn kameramodulin valilla. 

kuviossa 2a on esitetty tekniikan tason mukainen jarjestelma toimintojen 
jakamiseksi elektronisen laitteen ja kameramodulin valilla, 

10 

kuviossa 2b on esitetty kuvion 2a mukaisen jarjestelman signaalien valinen viive, 

kuviossa 3 on esitetty keksinnon mukainen jarjestelma tiedon siirtamiseksi 
elektronisen laitteen ja siihen liitetyn kameramodulin valilla, 

15 

kuviossa 4a ja 4b on esitetty vaihtoehtoisia toteutuksia tilastollisen tiedon ja 
kuvatiedon lomittamiseksi tietokehyksessa, 

kuviossa 5 on esitetty tiedonsiirtolaitteisto tiedon siirtamiseksi elektronisen 
20 laitteen ja kameramodulin valilla. 

Kuviossa 3 on esitetty keksinnon mukainen jarjestelma tiedon siirtamiseksi 
elektronisen laitteen ja kameramodulin valilla. Laite 300 kasittaa elektronisen 
laitteen 302 ja siihen integroidun kameramodulin 301, jotka kameramoduli ja 

25 elektroninen laite, kuten esimerkiksi matkaviestin, on integroitu yhteen ja samaan 
laitteeseen 300. Kameramoduli 301 kasittaa linssin 303 optisen kuvan 
tarkentamiseksi kuvasensorin 304 (Detector array), joka kasittaa valo- ja 
variherkkia kuvaelementteja eli pikseleita jarjestettyna pikseliriveiksi 
matriisinomaiseen muotoon kuvasensorin pinnalle, ohjelmoitavan analogisen 

30 vahvistimen 305 kuvasignaaiin vahvistamiseksi, AD-muuntimen 309 
analogiasignaalin muuntamiseksi digitaaliseen muotoon, kuvasensorin ohjaimen 
308, jonka avulla voidaan saataa esimerkiksi kuvasensorin valotusaikaa, 
rekisterin 307, johon talletetaan vahvistimen 305 ja ohjaimen 308 tarvitsemia 
kuvankasittelyparametreja, tilastollisen tiedon keraajan 306, lomitusvalineen 320, 
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tiedonsiirtovaylan (viitteet 310, 312) seka toisen tiedonsiirtovaylan (viitteet 311, 
313) tietojen siirtamiseksi rekisteriin 307 kuvatiedon ja tilastollisen tiedon 
siirtamiseksi kameramodulista elektroniseen laitteeseen. 

5 Kuva muodostetaan kameran linssin 303 lapi kuvasensorin ilmaisinmatriisiin, 
jossa matriisin kukin kuvaelementti eli pikseli muuntaa kyseiseen pikseliin osuvan 
valon analogiasignaaliksi, jota vahvistetaan vahvistimella 305 ja joka edelleen 
muunnetaan AD-muuntimella 309 digitaaliseen muotoon olevaksi kuvatiedoksi. 
Muodostuneesta kuvatiedosta kerataan tilastollinen tieto (viite 305), joka voi 

10 kasittaa esimerkiksi tietoja kuvan kirkkaudesta. Tassa tilastollinen tieto on keratty 
digitaalisesta signaalista, mutta se voidaan kerata myos analogiasignaalista. 
Kuvatieto ja tilastollinen tieto lomitetaan samaan tietokehykseen (viite 320), joka 
lahetetaan erityista CCP-vaylaa (Compact Camera Port) pitkin, joka on laitteen 
300 sisainen vayla ja se on toteutettu subLVDS pririna lahettavassa ja 

15 vastaanottavassa paassa, elektronisen laitteeseen, esimerkiksi muistiin 315 
jatkokasittelya varten. CCP-vaylassa voidaan kayttaa edullisesti yhta subLVDS 
lahetin-vastaanotinparla, mutta myos useampaa lahetin-vastaanotinparia voidaan 
kayttaa. Tiedonsiirto kameramodulin ja elektronisen laitteen valilla tapahtuu 
kayttaen sarjamuotoista synkronoitua differentiaalisignaalia. Vaihtoehtoisesti 

20 kuvatieto ja tilastollinen tieto voidaan siirtaa olennaisesti samanaikaisesti 
kayttamalla kahta erillista vaylaa, esimerkiksi subLVDS-vaylaa, siten, etta 
kuvatieto siirretaan mainittua ensimmaista vaylaa pitkin ja tilastollinen tieto 
siirretaan mainittua toista vaylaa pitkin. Kameramodulin ja elektronisen laitteen 
valilla kaytettavien tiedonsiirtovaylien lukumaaraa ei ole rajoitettu edella 

25 mainittuihin yhteen tai kahteen vaylaan, vaan myos useampiakin vaylia voidaan 
kayttaa edella mainittujen tiedonsiirtomuotojen toteuttamiseksi. 

Elektronisessa laitteessa vastaanotetusta tietokehyksesta erotetaan kuvatieto ja 
tilastollinen tieto. Tilastollisesta tiedosta lasketaan (viitteet 31 4-31 6) 
30 kuvankasittelyyn liittyvia parametrien arvoja, joiden avulla voidaan kasitella 
mainittua kuvatietoa, naytolle muodostettavaa kuvaa tai saadetaan 
kameramodulin kuvasensorin 304 toimintaa seuraavan kuvan muodostamiseksi. 
Kuvankasittelylohko 316 voi kasittaa parametreja, kuten kuvakoon muuttamisen 
(Scaling), valkotasapainon saadon (White Balancing) varitasapainon 
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saatamiseksi vallitsevan valaisun mukaan, valotuksen (Exposure Control) ja 
vahvistuksen (Gain Control) saadon seka eslmerkiksi RGB-YUV kuvafonnaatin 
muunnoksen. On ilmeista, etta kuvankasittelylohko voi edella mainittujen 
parametrien kasittaa joko lisaksi, tai vaihtoehtoisesti myos muita kuvankasittelyyn 
5 liittyvia parametreja. Kuvasensorin ohjainyksikolla 308 ohjataan kuvasensorin 
toimintaa esimerkiksi valotusaikaa tai kuvasignaalin vahvistusta muuttamalla. 
Ohjaussignaali valitetaan llC-vaylan (viitteet 311, 313) kautta elektroniselta 
laitteelta 302. Kellosignaali syotetaan elektronisen laitteen kellosta 319 
kameramoduliin, jossa se muutetaan vaihelukitussilmukkaa (phase-locked loop, 

10 PLL), ja janniteohjattua oskillaattoria (voltage controlled oscillator, VCO) kayttaen 
(viite 318) CCP-vaylassa kaytettavalle taajuudelle. Elektronisen laitteen syottama 
kellotaajuus voi olla esimerkiksi 13 MHz, joka muunnetaan kameramodulissa 
CCP-vaylan 104 MHz:iin. Kuvasignaali vastaanotetaan elektronisessa laitteessa 
SubLVDS-vastaanottimella (Sub-Low Voltage Differential Signalling) ja kuvatieto 

1 5 siirretaan joko naytolle 31 7 tai muistiin 31 5. 

Ainoastaan valttamattomat toiminnot, kuten kuvasensorin ohjaus, AD-muunto, 
analogiasignaalin vahvistus seka tilastollisen tiedon kerays ja sen kuvatiedon ja 
tilastollisen tiedon lomitus samaan tietokehykseen on integroitu kameramoduliin, 
20 elektronisen laitteen prosessorin 314 kasitellessa loput toiminnot 
tietokoneohjelmina. Kameramodulin fyysinen koko saadaan talla tavoin 
toteutettuna pienemmaksi seka mekaaninen rakenne yksinkertaisemmaksi. 

Jarjestelmassa kaytettava kellosignaali voidaan vaihtoehtoisesti toteuttaa 
25 syottamalla kellosignaali elektronisesta laitteesta kameramoduliin kayttamalla 
subLVDS-vaylan lahtoa. Talloin kameramodulissa ei tarvita erillista 
vaihelukitussilmukkaa (phase-locked loop, PLL), eika janniteohjattua oskillaattoria 
(voltage controlled oscillator, VCO), joita on tekniikan tasossa kaytetty 
muuttamaan kameramoduliin syotetty taajuus sopivaksi. Lisaksi kyseinen 
30 systeemikello soveltuu kaytettavaksi samanaikaisesti CCP:n kellona. Erona 
aikaisemmin esitetylle toteutusmuodolle on se, etta kellosignaali on koko ajan 
paalla. Nykyinen CCP lohko kuitenkin sallii sen, etta kellosignaali on jatkuvasti 
toiminnassa, koska synkronointikoodit maaraavat kuva- ja tilastollisen tiedon 
aiku- ja loppukohdat. 
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Tassa toteutusmuodossa ns. bypass CCP moodissa, data seka kirjoitetaan 
vaylalle nousevalla reunalla etta luetaan vaylalta nousevalla reunalla. Pidemmat 
viiveet bypass modessa mahdollistavat taman. CCP kellosignaalia ei syota 
kameramoduli vaan vastaanottava paa eli elektroninen laite. Kellosignaali 
5 lahetetaan elektronisesta laitteesta kameramoduliin esimerkiksi johonkin 
rekisteriin, josta tietoja haetaan, Signaalin kulkuviiveen takia kellosignaali on 
ylhaalla elektronisen laitteen puolella aikaisemmin kuin kameramodulissa. Lisaa 
viivetta aiheuttaa se, etta datasignaalin taytyy viela kulkea takaisin 
kameramodulista elektroniseen laitteeseen ennen kuin se voidaan lukea. 

10 

Kuviossa 4a ja 4b on esitetty vaihtoehtoisia toteutuksia tilastollisen tiedon ja 
kuvatiedon lomittamiseksi samassa tietokehyksessa. Tietokehys (viitteet 410, 
420) kasittaa yhden kuvan kuvatiedon ja tilastollisen tiedon. Kuvatieto voidaan 
jakaa kuvatietoyksikoihin (402, 405, 406, 407) rivelttain, jolloin VGA-resoluution 

15 kuvatieto voidaan muodostaa esinnerkiksi siten, etta kuvakehys kasittaa joko 
640:n pystyrivin tai 480:n vaakarivin kasittavia kuvatietoyksikkoja. On ilmeista, 
etta keksinnon mukainen toteutus ei ole rajoitettu edella esitettyihin pikselirivien 
lukumaarlin, eika kaytettavaksi VGA-kuvan siirrossa, vaan myos muita 
kuvakokoja voidaan kayttaa. Tilastotieto voidaan toteuttaan joko yhtena 

20 tilastotietoyksikkona kasittaen kaikkien tietokehykseen kuuluvien 
kuvatietoyksikoiden tilastollisen tiedon, kuten kuviossa 4a tai siten, etta kukin 
tilastotietoyksikko kasittaa aina kunkin kuvatietoyksikon tilastollisen tiedon, kuten 
kuviossa 4b on esitetty. Seuraavien vaihtoehtoisten toteutusmuotojen 
havainnollistamiseksi kuvatieto tietokehyksen sisalla on muodostettu 480:sta 

25 vaakarivista. 

Ensimmainen vaihtoehtoinen totetutusmuoto kuviossa 4a esittaa tilastollisen 
tiedon ja kuvatiedon lomittamisen samassa tietokehyksessa, joka tietokehys 
kasittaa kuvatietoyksikkoja, tilastotietiyksikkoja seka synkronointikoodeja joilla 
30 erotetaan tilastotietoyksikot kuvatietoyksikoista seka eri tietokehykset toisistaan. 
Kuvatiedon ja tilastollisen tiedon sijainnilla tai jarjestyksella tietokehyksen sisalla 
ei ole merkitysta. Havainnollistavana esimerkkina on kuvakokona kaytetty 
aikaisemmin mainittua VGA resoluutiota. joka kasittaa 640 pystyrivia ja 480 
vaakarivia. Kyseisessa tapauksessa kuvatieto lahetetaan siten. etta viimeisen 
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tietoyksikon (viite 406) jalkeen lahetetaan viela yksi tietoyksikko (viite 407), joka 
kaslttaa kyseisen kuvan tilastollisen tiedon. Koska tilastollisen tiedon maara voi 
olla pienempi tai suurempi kuin yhden kuvatietorivin tiedon maara, saattaa 
viimeisen rivin lahetys vastaavasti kestaa lyhyemman tai pidemman ajan. Tasta 
5 ei kuitenkaan aiheudu ongelmia, silla keliys maaritellaan erityisilla 
synkronointikoodeilla siten, etta kehyksen aiku ilmaistaan synkronointikoodilla FS 
(Frame Start) (viite 401), kehyksen loppu koodilla FE (Frame End) (viite 408). 
Kehyksen sisalla jokaisen rivin kuvatieto seka tilastollinen tieto kasittaa lisaksi 
synkronointikoodit LS (Line Start) (viite 404) ilmaisemaan tietueen alkua ja LE 
10 (Line End) (viite 403) ilmaisemaan tietueen loppua. 

Esimerkin tapauksessa lahetetaan kehyksen alkua ilmaiseva synkronointikoodi 
FS (viite 401), jonka jalkeen ensimmaisen rivin (viite 402) kuvatieto ja rivin 
paattymisen merkiksi synkronointikoodi LE (viite 403). Rivit 2 - 480 lahetetaan 

15 kukin siten, etta ennen jokaista rivia lahetetaan synkronointikoodi LS (viite 404), 
joka ilmaiseen kunkin rivin alun ja vastaavasti jokaisen rivin kuvatiedon 
lahetyksen jalkeen lahetetaan synkronointikoodi LE (viite 403), joka ilmaiseen 
kunkin rivin paattymisen. Tilastollinen tieto SD (viite 407) lahetetaan 480:nen rivin 
(viite 406) kuvatiedon lahettamisen jalkeen. Ennen tilastollisen tiedon SD 

20 lahetysta lahetetaan synkronointikoodi LS (viite 404) ja rivin lahetyksen jalkeen 
synkronointikoodi FE (viite 408), joka ilmaiseen lahetettavan kehyksen 
paattymisen. 

Vastaanottavassa paassa kuvatieto ja tilastollinen tieto on helposti erotettavissa 
25 toisistaan esimerkiksi siten, etta oletetaan aina kehyksen 480:n ensimmaisen 
synkronointikoodein erotetun tietoyksikon sisaltavan kuvatietoa ja 481 :sen 
tietoyksikon sisaltavan tilastollista tietoa. 

Toinen vaihtoehtoinen toteutusmuoto kuviossa 4b kasittaa kuvatiedon ja 
30 tilastollisen tiedon lomittamisen kehyksen sisalla siten, etta ensimmaisena 
lahetetaan ensimmaisen rivin sisaltama kuvatieto, jonka jalkeen lahetetaan 
vastaavan rivin tilastollinen tieto. Vastaavasti lahetetaan kehykseen kuuluvien 
muidenkin rivien kuvatieto tieto ja vastaava tilastollinen tieto. 
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Kehyksen lahetys alkaa synkronointikoodilla FS (viite 401), jonka jalkeen 
lahetetaan rivin 1 kuvatieto (viite 402) ja lopuksi synkronointikoodi LE (viite 403) 
rivin 1 kuvatiedon paattymisen merkiksi. Synkronointikoodi LS (viite 404) ilmaisee 
rivin 1 tilastollisen tiedon SD (viite 407) lahetyksen alkukolidan, jonka jalkeen 
5 lahetetaan rivin 1 tilastollinen tieto SD (viite 407) ja paatteeksi synkronointikoodi 
LE (viite 403) ilmaisemaan rivin 1 tilastollisen tiedon paattymisen. Rivit 2 - 479 
lahetetaan kukin seuraavalla tavalla: ensin LS-koodi (viite 404), jonka jalkeen 
kyseisen rivin kuvatietoyksikko (viite 405, 406), ja lopuksi LE-koodi (viite 403). 
480:s rivi lahetetaan kuten rivit 2 - 479 silla erotuksella, etta kyseisen rivin 
10 tilastollisen tiedon jalkeen tulee FE-koodi (viite 408) kehyksen paattymisen 
merkiksi. Vastaanottavassa paassa kuvatieto ja tilastollinen tieto on helposti 
erotettavissa toisistaan kayttamalla hyvaksi edella mainittuja synkronointikoodeja. 

Edellamainituissa toteutusmuodoissa tilastollisen tiedon synkronointiin voidaan 
15 kayttaa myos omia synkronointikoodeja esimerkiksi SDS (Statistical Data Start) ja 
SDE (Ststistical Data End). 

Kuvioissa 5 on esitetty toteutusmuoto kuvatiedon ja tilastollisen tiedon 
siirtamiseksi elektronisen laitteen ja kameramodulin valilla. Tiedonsiirto on 

20 toteutettu erityisesti muttei valttamatta, matkaviestimen kayttojannitteella 
toimivalla (esimerkiksi 1.5-1.8V) subLVDS-tyyppisella virtasignaali lahettimella 
501 ja -vastaanottimella 502 (tyypillinen LVDS kayttojannite on noin 3.0 V). 
Lahetin 501 kasittaa kayttojannitteen Vin tulon 504 ohjainpiirille 505, tulon 503 
lahetettavan bittialkion vastaanottamiseksi, lahdot 513, 514, ei-invertoivan ja 

25 invertoivan virtasignaalin lahettamiseksi seka ulkoisen virransaatovastuksen 
(current set resistor) 510. Vastaanotin 502 kasittaa kayttojannitteen Vin tulon 504 
ohjainpiirille 506. tulot 515, 516 ei-invertoivan ja invertoivan virtasignaalin 
vastaanottamiseksi, lahdon 507 bittialkion muodostamiseksi vastaanotetuista 
virtasignaaleista seka ulkoisen vahvistuksensaatovastuksen (gain set resistor) 

30 511. Signaali siirtyy lahettimelta vastaanottimelle siirtolinjoja 508 ja 509 pitkin 
kuvion 5a mukaista itsebiasoivaa signalointimenetelmaa kayttaen (self biasing 
signaling), mita on kuvattu vastuksella 512 (esimerkiksi 100Q) mainittujen 
siirtolinjojen valissa. 



11 



Toimintaperiaate ei eroa tavallisesta LVDS-piirista. Virtasignaali kasitetaan 1- 
bitiksi kun jannite ei-invertoivassa linjassa 508 on positiivinen ja invertoivassa 
linjassa 509 negatiivinen. Vastaavasti 0-bitti kasittaa painvastaisen tilanteen. 
SubLVDS-tyyppista virtasignaali lahetin-vastaanotinparia voidaan kayttaa suurilla 
5 tiedonsiirtonopeuksilla ja kuitenkin sen ymparistoon tuottama sahkomagneettinen 
hairio on vahainen. 



Tassa on esitetty keksinnon toteutusta ja suoritusmuotoja esimerkkien avulla. 
Alan ammattimiehelle on ilmeista, ettei keksinto rajoitu edella esitettyjen 

10 suoritusmuotojen yksityiskohtiin ja etta keksinto voidaan toteuttaa muussakin 
muodossa poikkeamatta keksinnon tunnusmerkeista. Esitettyja suoritusmuotoja 
tulisi pitaa valaisevina muttei rajoittavina. Siten keksinnon toteutus- ja 
kayttomahdollisuuksia rajoittavatkin ainoastaan oheistetut patenttivaatimukset. 
Taten vaatimusten maarittelemat erilaiset keksinnon toteutusvaihtoehdot, myos 

1 5 ekvivalenttiset toteutukset kuuluvat keksinnon piiriin. 
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Patenttivaatimukset 

1. Menetelma tiedon siirtoon kameramodulin (301) ja elektronisen laitteen (302) 
valilla, joka menetelma kasittaa vaiheet, joissa muodostetaan kuvatietoa 
kameramodulin kuvasensorissa (304), joka kuvasensori kasittaa ainakin yhden 
5 pikselirivin. ja joka kuvatieto kasittaa mainitun pikselirivin muodostaman tiedon, 
kerataan tilastoHinen tieto mainitusta kuvatiedosta, tunnettu siita, etta 
menetelmassa siirretaan mainittu kuvatieto ja mainittu tilastollinen tieto 
kameramodulista elektroniseen laitteeseen olennaisesti samanaikaisesti. 

10 2. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta mainittu 
kuvatieto ja mainittu tilastollinen tieto siirretaan toistensa suhteen lomittain 
ainakin yhta samaa vaylaa pitkin. 

3. Patenttivaatimuksen 2 mukainen menetelma, tunnettu siita, etta mainittu 
15 kuvatieto ja mainittu tilastollinen tieto siirretaan samassa tietokehyksessa, joka 
tietokehys kasittaa ainakin yhden kuvatietoyksikon, ainakin yhden 
tilastotietoyksikon ja ainakin yhden synkronointikoodin erottamaan mainittu 
kuvatietoyksikko mainitusta tilastotietoyksikosta. 

20 4. Patenttivaatimuksen 3 mukainen menetelma, tunnettu siita, etta mainittu 
kuvatietoyksikko kasittaa ainakin yhden mainitun pikselirivin muodostaman 
kuvatiedon ja mainittu tilastotietoyksikko kasittaa mainitun ainakin yhden 
pikselirivin muodostaman kuvatiedon tilastollisen tiedon. 

25 5. Patenttivaatimuksen 4 mukainen menetelma, tunnettu siita, etta mainittu 
pikselirivi on mainitun kuvasensorin pysty- tai vaakarivi. 

6. Patenttivaatimuksen 5 mukainen menetelma, tunnettu siita, etta mainittu 
tietokehys siirretaan kameramodulista elektroniseen laitteeseen 

30 sarjamuotoisena synkronoituna differentiaalisignaalina. 

7. Patenttivaatimusten 2-6 mukainen menetelma, tunnettu siita, etta 
kameramoduli ja elektroninen laite on integroitu yhteen ja samaan laitteeseen 
ja etta mainittu vayla on laitteen sisainen vayla. 
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8. Patenttivaatimusten 7 mukainen menetelma. tunnettu siita, etta mainitun 
siirretyn tilastollisen tiedon perusteella muodostetaan ainakin yksi 
kuvankasittelyyn liittyva parametri. 

5 

9. Patenttivaatimuksen 8 mukainen menetelma, tunnettu siita, etta mainitun 
ainakin yhden muodostetun kuvankasittelyparametrin avuila kasitellaan 
muodostettavaa kuvaa. 

10 10. Patenttivaatimuksen 9 mukainen menetelma, tunnettu siita, etta mainitun 
ainakin yhden kuvankasittelyparametrin avuila saadetaan kameramodulin 
kuvasensoria seuraavan kuvan kuvatledon muodostamiseksi. 

H.Lalte (300), joka kasittaa kameramodulin (301) ja elektronisen laitteen (302), 
15 kasittaen valineet kuvatledon muodostamiseksi (303, 304) kameramodulin 
kuvasensorissa (304), joka kuvasensori edelleen kasittaa ainakin yhden 
pikselirivin, ja joka kuvatieto kasittaa mainitun pikselirivin muodostaman tiedon, 
valineet (305) tilastollisen tiedon keraamiseksi mainitusta kuvatiedosta, 
tunnettu siita, etta laite kasittaa lisaksi valineet (310, 312, 320) kuvatiedon ja 
20 tilastollisen tiedon siirtamiseksi kameramodulista elektroniseen laitteeseen 
olennaisesti samanaikaisesti. 

12. Patenttivaatimuksen 11 mukainen laite, tunnettu siita, etta mainitut 
tiedonsiirtovalineet on toteutettu siirtamaan mainittu kuvatieto ja mainittu 
25 tilastollinen tieto samassa tietokehyksessa, joka tietokehys kasittaa ainakin 
yhden kuvatietoyksikon, ainakin yhden tilastotietoyksikon ja ainakin yhden 
synkronointikoodin erottamaan mainittu tilastotietoyksikko mainitusta 
ku vatietoy ksikosta . 

30 13.Patenttivaatimuksen 12 mukainen laite, tunnettu siita, etta mainittu tietokehys 
kasittaa mainitun kuvatiedon ja mainitun tilastollisen tiedon toistensa suhteen 
lomitettuna ja etta mainittu tietokehys siirretaan ainakin yhta vaylaa pitkin 
kameramodulista elektroniseen laitteeseen. 
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14. Patenttivaatimuksen 13 mukainen laite, tunnettu siita, etta mainitut 
tiedonsiirtovalineet on lisaksi toteutettu siirtamaan mainittu tietokehys 
kameramodulista elektroniseen laitteeseen sarjamuotoisena synkronoituna 
differentiaalisignaalina. 

5 

15. Patenttivaatimusten 11-14 mukainen laite, tunnettu siita. etta laite kasittaa 
lisaksi valineet (316, 314), kuvankasittelyyn liittyvan parametrin 
muodostamiseksi siirretysta tilastollisesta tiedosta. 

10 le.Patenttivaatimuksen 15 mukainen laite, tunnettu siita, etta laite kasittaa 
lisaksi kuvatiedonkasittelyvalineet (316, 314) siirretyn kuvatiedon 
kasittelemiseksi mainitun kuvankasittelyyn liittyvan parametrin perusteella. 

17.Patenttivaatimuksen 16 mukainen laite, tunnettu siita, etta mainitut 
1 5 kuvatiedonkasittelyvalineet on toteutettu kasittelemaan muodostettavaa kuvaa. 

le.Patenttivaatimuksen 17 mukainen laite, tunnettu siita, etta mainitut 
kuvatiedonkasittelyvalineet on lisaksi toteutettu ohjaamaan kuvasensoria 
seuraavan kuvan ottamista varten. 

20 

19. Patenttivaatimuksen 11-18 mukainen laite, tunnettu siita, etta mainittu 
elektroninen laite on matkaviestin. 

20. Patenttivaatimuksen 19 mukainen laite, tunnettu siita, etta mainittu 
25 matkaviestin ja kameramoduli on integroitu yhteen ja samaan laitteeseen ja 

etta mainittu vayla on laitteen sisainen vayla. 
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(57) Tiivistelma 

Menetelma ja laite tiedonsiirtoon elektronisen laitteen ja 
siihen integroidun kameramodulin valilla. Menetelmassa 
siirretaan kuvatietoa ja kuvatiedosta muodostettua 
tilastollista tietoa tietokehyksessa kameramodulista 
elektroniseen laitteeseen yhteista tiedonsiirtovaylaa pitkin 
sarjamuotoisena synkronoituna differentiaalisignaalina 
siten, etta kuvatieto ja tilastollinen tieto on 
tietokehyksessa erotettu toisistaan synkronoitikoodilla. 
Tiedonsiirrossa kaytetaan subLVDS lahetin- 

vastaanottimia. 



Kuvio 3. 
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Method and device for data transmission 

The present invention relates to devices that are connected to a camera. 
Specifically but not necessarily, the invention relates to data transmission 
5 between a mobile communications terminal display and camera module. 

Background of Technology 

In digital cameras and digital video cameras, the conversion of an optical image 
10 to electric signals is implemented by means of an image sensor, typically a light 
sensitive semiconductor element (Charge Coupled Device CCD or 
Complementary Metal Oxide Semiconductor CMOS). Said element is a plate 
comprising small and regular light and colour sensitive picture elements or pixels, 
also called a detector matrix. The resolution of the matrix varies by its physical 
15 size and granularity. Typically, the image sensor comprises hundreds of 
thousands of pixels. In VGA resolution (Video Graphics Array), for example, 640 
X 480 = 307,200 pixels are used. The utilization of highly developed CMOS 
technology in image sensor manufacturing has enabled the integration of digital 
and analog electronics on the same semiconductor element with the image 
20 sensor. Decreases in the size and weight of the camera module have made it 
possible to integrate such a module into even smaller electronic devices, such as 
portable computers and mobile communication terminals. 

The structure of a prior art camera module is shown in Figure 1. In this solution, 
25 all functional blocks and operations related to image processing are integrated 
into the camera module 10. The module comprises one or more optical lenses 
12, a light sensitive CMOS sensor element 13, a control unit 14 for adjusting the 
CMOS sensor element, and a programmable analog amplifier 15 (Programmable 
Gain Amplifier, PGA). By means of an AD converter 16, the analog image signal 
30 is converted to a digital form, after which it can be processed (reference 17) with 
various image-processing functions, for example, by adjusting the colour and 
white balance. Through connections 18 and 19, the image signal is transferred, 
for example, to be stored into the memory 21 of electronic device 1 1 or shown on 
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its display 22. The data transmission between user interface 10, memory 21, and 
display 22 can be controlled, for example, by processor 20. 



A fully integrated solution of above described type is applicable to devices with an 
5 integrated camera module that do not have enough processing power for image- 
processing operations. As every image-processing operation increases the silicon 
surface of the camera module, and thus the price, physical size, and weight of the 
equipment, it is preferable to divide the image-processing functional blocks 
between the electronic device and the camera module integrated into it. 

10 

A prior art division of functions between the camera module and the electronic 
device is shown in Figure 2a, where there is a unidirectional parallel interface 
209, 211 between the electronic device 202 and the camera module 201 
integrated into it. The interface may comprise, for example, 8 bits for data and 

15 one bit for each of the following: clock signal, synchronization of data frame to be 
sent, and synchronization of pixel row forming the image. The image data is 
generated in the camera module during the read-out period of image sensor 204 
and transmitted via said parallel interface (references 209, 211) to the electronic 
device, where the received image data is used to calculate statistical data which 

20 is in turn transmitted via an IIC (Inter Integrated Circuit) bus (references 210, 212) 
to the camera module register 217 that is used to control functional blocks in the 
camera module, such as the controller 207 of image sensor 204 and the image 
signal amplifier 205. The AD converted (reference 208) image data is transmitted 
to the electronic device 202, where the image data is processed, statistical data is 

25 calculated from it, and it is transferred as an image to the display 216 of the 
device or stored into memory 214 of the device. A separate bus (for example IIC 
or RS232) is used for the transmission of statistical data from the electronic 
device to the camera module; through this bus, registers in the camera module 
can be accessed for image-processing operations. The data required for 

30 manipulating the image is obtained from the statistical data calculated from the 
image data in the electronic device. Necessary information is also fetched via the 
IIC bus from the camera module register 217, and the final calculation of image 
manipulation parameter values is performed by the processor 213 in the 
electronic device. The parameter resulting from the calculation is sent via the 



3 

control bus (210, 212) to the camera module register 217, for example to be used 
by the image sensor controller 207 or for the control of functional blocks such as 
the programmable amplifier (reference 205). A control data bus of the type 
described above is not very fast, however; the typical data rate of an IIC bus is 
5 around 100 kbps. The low data rate of the bus is manifested as an observable 
delay in image stabilization, for example when using a digital video camera in 
well-lighted conditions and moving to a darker area or vice versa. To utilize 
statistical data in image processing, a large amount of data must be transmitted 
between the camera module and the electronic device immediately after sending 

10 the image data from the camera module to the electronic device for processing. 
The cause of the delay, according to Figure 2b, is as follows: after the image data 
for Image 1 has been generated in the camera module, it is sent to the electronic 
device for final image processing; for this, the statistical data SD1 for Image 1 is 
calculated from the received image data, and the data SD1 is sent via the IIC bus 

15 to the camera module register 217. Because of the low data rate of the IIC bus, 
transmission of statistical data for Image 1 to the camera module via the IIC bus 
is only completed when the transmission of image data for Image 2 to the device 
is already in progress. The result is that the statistical data for Image 1 can only 
be used to process Image 3, not Image 2 which would be preferred. The delay is 

20 further emphasized when the change of lighting conditions on the image sensor 
surface happens even faster. 

Summary of the Invention 

25 A method and device has now been invented for the transmission of data 
between an electronic device (host device) and a camera module connected to it. 
In the method according to .the invention, statistical data collected from 
unprocessed image data is sent interlaced with said image data on the same 
communications channel essentially at the same time in the same data frame so 

30 that the image data bits and the statistical data bits are separated from each 
other by special synchronization codes. The image data and statistical data can 
be easily and quickly transmitted to the electronic device in the form of a serial 
differential signal on a special CCP bus (Compact Camera Port). The received 
image data can be processed in the electronic device based on the statistical 
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data collected from said image data in a preferred way without delay. The means 
for processing the image data can be either computer programs stored in 
memory in the electronic device or the camera module, or electronic components 
carrying out the operations. Compared to prior art, the implementation according 
5 to the invention is faster because there are no delays, and the manufacturing 
costs are lower because there are fewer transmission lines and connectors. In 
addition, the simplified data transmission bus makes it easier to design the 
camera module, and the software in the electronic device can be less time- 
dependent. 

10 

According to a first aspect of the invention, there is implemented a method for the 
transmission of data between a camera module and an electronic device, said 
method comprising the phases of generating image data in the image sensor of 
the camera module and collecting statistical data from said image data, 

15 characterised in that in addition, in the method, said image data and said 
statistical data is transmitted from the camera module to the electronic device via 
a common transmission bus, at least one value of at least one parameter related 
to image processing is generated based on said transmitted statistical data, said 
image data is processed using said at least one value of at least one parameter, 

20 and an image is generated from said processed image data. 

According to a second aspect of the invention, there is implemented an electronic 
device, into which a camera module is integrated, comprising means for 
generating image data, characterised in that in addition, the device comprises 

25 means for collecting statistical data from said image data, means for transmitting 
image data and statistical data from the camera module to the electronic device 
using a common data transmission bus, means for generating at least one value 
of at least one image-processing parameter from said transmitted statistical data, 
means for processing said image data based on said at least one value of at least 

30 one image-processing parameter, and means for generating an image from the 
processed image data. 
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Prior art has been discussed by referring to Figures 1, 2a, and 2b. In the 
following, the invention will be discussed in more detail by referring to Figures 3 
to 5, in which 

5 Figure 1 illustrates a prior art system for the transmission of data between an 
electronic device and a camera module connected to it, 

Figure 2a illustrates a prior art system for dividing functions between the 
electronic device and the camera module, 

10 

Figure 2b illustrates the delays between signals in a system according to Figure 
2a, 

Figure 3 illustrates a system according to the invention for the transmission of 
15 data between an electronic device and a camera module connected to it, 

Figures 4a and 4b illustrate alternative implementations for interiacing the 
statistical data and the image data in the data frame, 

20 Figure 5 illustrates data transmission equipment for the transmission of data 
between the electronic device and the camera module. 

Figure 3 illustrates a system according to the invention for the transmission of 
data between an electronic device and a camera module connected to it. Device 

25 300 comprises an electronic device 302 and a camera module 301 integrated into 
it, said camera module and electronic device, for example a mobile 
communications terminal, being integrated into one single device 300. The 
camera module 301 comprises a lens 303 for focusing an optical image on the 
surface of image sensor (detector array) 304 which comprises light and colour 

30 sensitive picture elements or pixels arranged in the form of pixel rows in a matrix- 
like format on the surface, a programmable analog amplifier 305 for amplifying 
the image signal, an AD converter 309 for converting the analog signal to a digital 
form, an image sensor controller 308 for adjusting, for example, the image sensor 
exposure time, a register 307 for storing image-processing parameters required 
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by amplifier 305 and controller 308, a statistical data collector 306, an interlacing 
device 320, a transmission bus (references 310, 312) and another transmission 
bus (references 31 1 , 313) for transmitting data to the register 307 for the purpose 
of transferring image data and statistical data from the camera module to the 
5 electronic device. 

The image is generated through camera lens 303 to the image sensor detector 
matrix, where each picture element or pixel of the matrix converts light hitting the 
pixel to an analog signal which is amplified by amplifier 305 and further converted 

10 by AD converter 309 to image data in a digital format. From the generated image 
data, statistical data (reference 305) is collected. This can comprise for example 
information on the image brightness. Here, the statistical data has been collected 
from the digital signal, but it can also be collected from the analog signal. The 
image data and statistical data are interlaced into the same data frame (reference 

1 5 320) which is transmitted on a special CCP bus (Compact Camera Port) that is a 
bus internal to the device 300, implemented in the transmitting and receiving 
ends as a subLVDS circuit, to the electronic device, for example to memory 315 
for further processing. In the CCP bus, the preferred way is to use one subLVDS 
transmitter/receiver pair, but it is also possible to use several transmitter/receiver 

20 pairs. The data transmission between the camera module and the electronic 
device is carried out using a serial synchronized differential signal. An alternative 
way of transmitting the image data and statistical data essentially at the same 
time is to use two separate buses, for example subLVDS buses, so that the 
image data is transmitted over said first bus and the statistical data is transmitted 

25 over said second bus. The number of data transmission buses used between the 
camera module and the electronic device is not limited to said one or two buses, 
but also a higher number of buses can be used to implement the data 
transmission methods discussed above. 

30 In the electronic device, the image data and statistical data are separated from 
the received data frame. From the statistical data, image-processing parameter 
values are calculated (references 314 to 316). These can be used to process said 
image data or the image generated on the display, or to adjust the operation of 
image sensor 304 to generate the next image. The image processing block 316 
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can comprise parameters such as image scaling, white balancing to adjust the 
colour balance to prevailing lighting conditions, adjusting exposure control and 
gain control, and for example, RGB-YUV image format conversion. It is obvious 
that the image processing block can, in addition to said parameters or in place of 
5 them, comprise other parameters related to image processing. The operation of 
the image sensor is controlled by image sensor control unit 308, for example by 
changing the exposure time or image signal gain. The control signal is 
transmitted via the IIC bus (references 311, 313) from the electronic device 302. 
The clock signal is supplied by the clock 319 in the electronic device to the 

10 camera module where it is converted to the frequency used on the CCP bus by 
means of a phase locked loop (PLL) and voltage controlled oscillator (VCO) 
(reference 318). The clock frequency supplied by the electronic device can be for 
example 13 MHz which will be converted in the camera module to the 104 MHz 
frequency used on the CCP bus. The image signal is received in the electronic 

15 device by means of a SubLVDS (Sub-Low Voltage Differential Signalling) 
receiver, and the image data is transferred either to display 317 or memory 315. 

Only the most essential functions, such as image sensor control, AD conversion, 
analog signal amplification, as well as the collection of statistical data and 
20 interlacing of image data and statistical data into the same data frame are 
integrated into the camera module, the processor 314 in the electronic device 
processing the other functions by means of computer programs. This way, the 
physical dimensions of the camera module can be made smaller and its 
mechanical structure simpler. 

25 

The system clock signal can alternatively be implemented by supplying the clock 
signal from the electronic device to the camera module using subLVDS bus 
output. In this case, no separate phase-locked loop (PLL) or voltage controlled 
oscillator (VCO) are needed in the camera module; in prior art, these components 
30 have been used for converting the signal supplied to the camera module to the 
appropriate frequency. In addition, this system clock can be used as the CCP 
clock at the same time. The difference compared with the previous 
implementation is that in this case, the clock signal is always on. The present 
CCP block allows the clock signal to be operational all the time, however, as the 
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start and end points of the image and statistical data are detennined by the 
synchronization codes. 



In this embodiment, the so-called bypass CCP mode, data is both written to the 
5 bus and read from the bus on the positive edge. Longer delays in bypass mode 
make this possible. The CCP clock signal is not supplied by the camera module 
but the receiving end, that is, the electronic device. The clock signal is sent from 
the electronic device to the camera module, for example to a register where data 
is fetched from. Because of the signal transmission delay, the clock signal is in 
10 the up state in the electronic device earlier than in the camera module. More 
delay is caused by the fact that the data signal must be transmitted back from the 
camera module to the electronic device before it can be read. 

Figures 4a and 4b illustrate alternative implementations for interlacing the 
statistical data and the image data in the same data frame. The data frame 
(references 410, 420) comprises the image data and statistical data for one 
image. The image data can be divided into image data units (402, 405, 406, 407) 
line by line, so the image data at VGA resolution can be generated for example 
from image data units comprising either 640 vertical lines or 480 horizontal lines. 
It is obvious that the implementation of the invention is not restricted to the 
numbers of pixel rows discussed above, or to be used only for the transmission of 
VGA images, but also other image sizes can be used. The statistical data can be 
implemented either as one statistical data unit comprising all image data units of 
the data frame, as in. Figure 4a, or in such a way that each statistical data unit 
comprises the statistical data for one image data unit, as shown in Figure 4b. To 
visualize the following alternative implementations, the image data in the data 
frame comprises 480 horizontal lines. 

The first alternative implementation in Figure 4a illustrates the interlacing of 
30 statistical data and image data in the same data frame, said data frame 
comprising image data units, statistical data units and synchronization codes 
which are used to separate the statistical data units from the image data units 
and the different data frames from each other. The location or order of the image 
data and statistical data inside the data frame are insignificant. As a visualizing 
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example, the image size corresponds to the VGA resolution discussed above, 
comprising 640 vertical lines and 480 horizontal lines. In this case, the image 
data is transmitted in such a way that after the last data unit (reference 406), one 
more data unit (reference 407) is sent, comprising the statistical data for the 
5 image. Because the amount of statistical data can be less than or greater than 
the amount of data in one image data line, the transmission of the last line can 
take a shorter or longer time, correspondingly. This does not cause any 
problems, though, as the frame is defined using special synchronization codes so 
that the start of frame is denoted by synchronization code FS (Frame Start) 
10 (reference 401) and the end of frame with code FE (Frame End) (reference 408). 
Inside the frame, the image data and statistical data for each line comprises also 
the synchronization codes LS (Line Start) (reference 404) to indicate start of 
record, and LE (Line End) (reference 403) to indicate end of record. 

15 In the example case, the Frame Start synchronization code FS (reference 401) is 
transmitted, after which comes the image data for the first line (reference 402) 
and the Line End synchronization code LE (reference 403). Lines 2 to 480 are 
each transmitted so that before each line, the synchronization code LS (reference 
404) is transmitted, indicating the start of each line, and after the transmission of 

20 image data for each line, the synchronization code LE (reference 403) indicating 
the end of each line is transmitted. The statistical data SD (reference 407) is 
transmitted after the image data for line 480 (reference 406). Before transmitting 
the statistical data SD, the synchronization code LS (reference 404) is 
transmitted, and after the line, the synchronization code FS (reference 408) is 

25 transmitted, indicating the end of transmitted frame. 

At the receiving end, the image data and statistical data can easily be separated 
from each other for example by assuming that in the frame, the 480 first data 
units separated by synchronization codes contain image data, and the 481st data 
30 unit contains statistical data. 



Another alternative implementation in Figure 4b comprises interiacing the image 
data and statistical data inside the frame so that the image data in the first line is 
transmitted first, and after this, the statistical data for the corresponding line is 
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sent. The image data and con-esponding statistical data for other lines in the 
frame is transmitted similarly. 



The transmission of a frame starts with synchronization code FS (reference 401), 
5 after which the image data for line 1 is transmitted (reference 402), and finally the 
end of image data in line 1 is indicated by sending the synchronization code LE 
(reference 403). The synchronization code LS (reference 404) indicates the start 
of transmission of statistical data SD for line 1 (reference 407), after which the 
statistical data SD for line 1 (reference 407) is transmitted; finally, the end of 

10 statistical data for line 1 is indicated by the synchronization code LE (reference 
403). Each of the lines 2 to 479 are transmitted in the following way: first comes 
the LS code (reference 404), after this the image data unit for the line (reference 
405, 406), and finally the LE code (reference 403). Line 480 is transmitted 
similarly to lines 2 to 479 with the difference that after the statistical data for the 

15 last line, a FE code (reference 408) is transmitted to indicate end of frame. At the 
receiving end, the image data and statistical data can be easily separated from 
each other by utilizing the synchronization codes discussed above. 

In the implementations discussed above, the statistical data can also be 
20 synchronized by means of separate synchronization codes such as SDS 
(Statistical Data Start) and SDE (Statistical Data End). 

Figure 5 illustrates an implementation for the transmission of image data and 
statistical data between the electronic device and the camera module. The data 

25 transmission is implemented specifically but not necessarily by means of a 
subLVDS type current signal transmitter 501 and receiver 502 running on the 
supply voltage of a mobile communications terminal (for example 1.5 to 1.8 V, a 
typical LVDS supply voltage being approximately 3.0 V). The transmitter 501 
comprises supply voltage Vin input 504 to control circuit 505. input 503 for 

30 receiving the bit element to be transmitted, outputs 513, 514, for transmitting a 
non-inverting and inverting current signal, and an external current set resistor 
510. The receiver 502 comprises supply voltage Vin input 504 to control circuit 
506, inputs 515, 516 for receiving a non-inverting and inverting current signal, 
output 507 for generating a bit element from the received current signals and an 
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external gain set resistor 511. The signal is transferred from transmitter to 
receiver on the transmission lines 508 and 509 using the self biasing signaling 
method according to Figure 5a, illustrated by the resistor 512 (for example, 100 
Q ) between said transmission lines. 

5 

The principle of operation does not differ from an ordinary LVDS circuit. The 
current signal is interpreted as a 1 bit when the voltage of non-inverting line 508 
is positive and the voltage of inverting line 509 is negative. Correspondingly, a 0 
bit is indicated by the reverse situation. A subLVDS type current signal 
10 transmitter/receiver pair can be used at high data rates while keeping the 
electromagnetical noise at a minimum. 

This paper presents the implementation and embodiments of the present 
invention, with the help of examples. A person skilled in the art will appreciate 

15 that the present invention is not restricted to details of the embodiments 
presented above, and that the invention can also be implemented in another form 
without deviating from the characteristics of the invention. The embodiments 
presented should be considered illustrative, but not restricting. Thus, the 
possibilities of implementing and using the invention are only restricted by the 

20 enclosed claims. Consequently, the various options of implementing the invention 
as determined by the claims, including the equivalent implementations, also 
belong to the scope of the invention. 
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Claims 

1 . A method for the transmission of data between a camera module (301 ) and an 
electronic device (302), said method comprising the steps of generating image 
data in the image sensor (304) of the camera module, said image sensor 

5 comprising at least one row of pixels, and said image data comprising the data 
generated by said row of pixels, and collecting statistical data from said image 
data, characterised in that the method further comprises: transmitting said 
image data and said statistical data from the camera module to the electronic 
device essentially at the same time. 

10 

2. A method according to claim 1 , characterised in that said image data and said 
statistical data are transmitted interlaced with each other on at least one 
common bus, 

15 3. A method according to claim 2, characterised in that said image data and said 
statistical data are transmitted in the same data frame, said data frame 
comprising at least one image data unit, at least one statistical data unit, and at 
least one synchronization code to separate said image data unit from said 
statistical data unit. 

20 

4. A method according to claim 3, characterised in that said image data unit 
comprises image data generated by at least one said row of pixels and that 
said statistical data unit comprises statistical data for said image data 
generated by at least one row of pixels. 

25 

5. A method according to claim 4, characterised in that said row of pixels is a 
vertical or horizontal row in said image sensor. 

6. A method according to claim 5, characterised in that said data frame is 
30 transmitted from the camera module to the electronic device in the form of a 

serial synchronized differential signal. 
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7. A method according to claims 2 to 6, characterised in that the camera module 
and the electronic device are integrated into one single device and that said 
bus is a device-internal bus. 

5 8. A method according to claim 7, characterised in that said transmitted 
statistical data is used as the generation basis for at least one parameter 
related to image processing. 

9. A method according to claim 8, characterised in that said at least one image- 
10 processing parameter created is used for the processing of the image to be 

generated. 

10. A method according to claim 9, characterised in that said at least one 
image-processing parameter is used for adjusting the image sensor of the 

1 5 camera module to generate image data for the next image. 

11. A device (300) comprising a camera module (301) and an electronic 
device (302), comprising means for generating image data (303, 304) in the 
image sensor (304) of the camera module, said image sensor comprising at 

20 least one row of pixels and said image data comprising the data generated by 
said rows of pixels, means (305) for collecting statistical data on said image 
data, characterised in that the device further comprises means (310, 312, 
320) for transmitting image data and statistical data from the camera module to 
the electronic device essentially at the same time. 

25 

12. A device according to claim 11, characterised in that said data 
transmission means are implemented for transmitting said image data and said 
statistical data in the same data frame, said data frame comprising at least one 
image data unit, at least one statistical data unit, and at least one 

30 synchronization code to separate said image data unit from said statistical data 
unit. 

13. A device according to claim 12, characterised in that said data frame 
comprises said image data and said statistical data interlaced with each other 
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and that said data frame is transmitted from the camera module to the 
electronic device on at least one bus. 

14. A device according to claim 13, characterised in that said data 
5 transmission means are additionally implemented for transmitting said data 

frame from the camera module to the electronic device in the form of a serial 
synchronized differential signal. 

15. A device according to claims 11 to 14, characterised in that the device 
10 also comprises means (316, 314) for generating an image-processing 

parameter from the transmitted statistical data. 

16. A device according to claim 15, characterised in that in addition, the 
device comprises means for image data processing (316, 314) to process the 

15 transmitted image data based on said image-processing parameter. 

17. A device according to claim 16, characterised in that said means for 
image data processing have been implemented for processing the image to be 
generated. 

20 

18. A device according to claim 17, characterised in that said means for 
image data processing have additionally been implemented to control the 
image sensor in acquiring the next image. 

25 19. A device according to claims 1 1 to 18, characterised in that said device is 
a mobile communications terminal. 



30 



20. A method according to claim 19, characterised in that said mobile 
communications terminal and camera module are integrated into one single 
device and that said bus is a device-internal bus. 



(57) Abstract 



A method and device for data transmission between an 
electronic device and a camera module integrated into it. 
In the method, image data and statistical data generated 
from it are transmitted in a data frame from the camera 
module to the electronic device on a common data 
transmission bus in the form of a serial synchronized 
differential signal in such a way that the image data and 
the statistical data are separated from each other in the 
data frame by means of a synchronization code. In the 
data transmission, subLVDS transmitters/receivers are 
used. 



Figure 3. 



